Diverse data formats and ontologies of task-oriented dialogue (TOD) datasets hinder us from developing general dialogue models that perform well on many datasets and studying knowledge transfer between datasets. To address this issue, we present ConvLab-3, a flexible dialogue system toolkit based on a unified TOD data format. In ConvLab-3, different datasets are transformed into one unified format and loaded by models in the same way. As a result, the cost of adapting a new model or dataset is significantly reduced. Compared to the previous releases of ConvLab (Lee et al., 2019b; Zhu et al., 2020b), ConvLab-3 allows developing dialogue systems with much more datasets and enhances the utility of the reinforcement learning (RL) toolkit for dialogue policies. To showcase the use of ConvLab-3 and inspire future work, we present a comprehensive study with various settings. We show the benefit of pre-training on other datasets for few-shot fine-tuning and RL, and encourage evaluating policy with diverse user simulators.
translated by 谷歌翻译
面向任务的对话系统旨在通过自然语言互动实现用户目标。他们可以与人类用户一起评估它们，但是在开发阶段的每个迭代中都无法实现。模拟用户可能是替代方案，但是他们的开发是不平凡的。因此，研究人员诉诸于现有的人类语料库的离线指标，这些指标更实用且易于再现。不幸的是，它们在反映对话系统的真实性能方面受到限制。例如，BLEU与人类判断力的相关性很差，现有的基于语料库的指标（例如成功率忽略对话环境不匹配）。对于具有良好概括且与人类判断密切相关的任务导向系统，仍然需要一个可靠的指标。在本文中，我们建议使用离线增强学习来基于静态语料库的对话评估。这样的评估者通常称为评论家，并用于政策优化。我们迈出了一步，并表明可以在任何对话系统的静态语料库上对离线RL批评家作为外部评估者进行培训，从而可以在各种类型的系统上进行对话性能比较。这种方法的好处是与人类判断达到密切的相关性，使其成为与模型无关的，我们通过交互式用户试验确认。
translated by 谷歌翻译
用户模拟器（USS）通常用于通过增强学习训练面向任务的对话系统（DSS）。相互作用通常是在语义层面上以提高效率的，但是从语义动作到自然语言仍然存在差距，这会导致培训和部署环境之间的不匹配。在培训期间，将自然语言生成（NLG）模块与USS结合在一起可以部分解决此问题。但是，由于US的策略和NLG是单独优化的，因此在给定的情况下，这些模拟的用户话语可能不够自然。在这项工作中，我们提出了一个基于生成变压器的用户模拟器（Gentus）。 Gentus由编码器结构组成，这意味着它可以共同优化用户策略和自然语言。 Gentus既产生语义动作又产生自然语言话语，从而保留了解释性和增强语言的变化。另外，通过将输入和输出表示为单词序列以及使用大型的预训练语言模型，我们可以在功能表示中实现普遍性。我们通过自动指标和人类评估评估绅士。我们的结果表明，绅士会产生更多的自然语言，并能够以零拍的方式转移到看不见的本体论中。此外，通过加强学习为培训专业用户模拟器打开大门，可以进一步塑造其行为。
translated by 谷歌翻译
面向目标的对话系统最初是作为自然语言界面设计的，用于用户可能会询问域，插槽和值进一步描述的实体的固定数据集。随着我们朝着适应性的对话系统迈进，有关域，插槽和值的知识可能会发生变化，因此越来越需要大规模从原始对话或相关的非拨号数据中自动提取这些术语。在本文中，我们通过探索可以使系统能够以纯粹数据驱动的方式在对话中发现对话中的域，插槽和值的不同功能来迈出这个方向的重要一步。我们检查的功能来自单词嵌入，语言建模功能以及嵌入空间一词的拓扑特征。为了检查每个功能集的效用，我们基于广泛使用的多沃兹数据集训练种子模型。然后，我们将此模型应用于其他语料库，即模式引导的对话数据集。我们的方法的表现优于仅依赖单词嵌入的先前提出的方法。我们还证明，每个功能都负责发现各种内容。我们认为，我们的结果需要进一步研究本体诱导，并继续利用对话和自然语言处理研究的拓扑数据分析。
translated by 谷歌翻译
将对话状态跟踪（DST）概括为新数据特别具有挑战性，因为在培训过程中对丰富和细粒度的监督非常依赖。样本稀疏性，分布转移以及新概念和主题的发生经常导致推理期间的严重降级。在本文中，我们提出了一种培训策略，以构建提取性DST模型，而无需精细颗粒的手动跨度标签。两种新型的输入级辍学方法减轻了样品稀疏性的负面影响。我们提出了一种具有统一编码器的新模型体系结构，该架构通过利用注意机制来支持价值和插槽独立性。我们结合了三复制策略DST的优势和价值匹配，以从互补的预测中受益，而无需违反本体独立性的原则。我们的实验表明，可以在没有手动跨度标签的情况下训练提取的DST模型。我们的体系结构和培训策略提高了对样本稀疏，新概念和主题的鲁棒性，从而在一系列基准中提高了最先进的表现。我们进一步强调了我们的模型有效地从非拨号数据中学习的能力。
translated by 谷歌翻译
Even though machine learning has become the major scene in dialogue research community, the real breakthrough has been blocked by the scale of data available. To address this fundamental obstacle, we introduce the Multi-Domain Wizard-of-Oz dataset (MultiWOZ), a fully-labeled collection of human-human written conversations spanning over multiple domains and topics. At a size of 10k dialogues, it is at least one order of magnitude larger than all previous annotated task-oriented corpora. The contribution of this work apart from the open-sourced dataset labelled with dialogue belief states and dialogue actions is two-fold: firstly, a detailed description of the data collection procedure along with a summary of data structure and analysis is provided. The proposed data-collection pipeline is entirely based on crowd-sourcing without the need of hiring professional annotators; secondly, a set of benchmark results of belief tracking, dialogue act and response generation is reported, which shows the usability of the data and sets a baseline for future studies.
translated by 谷歌翻译